Gagasan penyelenggaraan Kongres Pemuda Kedua pada 27-28 Oktober 1928 berasal dari Perhimpunan Pelajar Pelajar Indonesia (PPPI), sebuah organisasi pemuda yang beranggotakan pelajar dari seluruh Indonesia. Kongres bertujuan memperkuat rasa persatuan dan kebangsaan Indonesia yang telah tumbuh di dalam benak dan sanubari pemuda-pemudi. Sebelum kongres digelar, para pemuda mengadakan pertemuan terlebih dahulu pada 3 Mei 1928 dan 12 Agustus 1928. Mereka membahas tentang pembentukan panitia, susunan acara kongres, waktu, tempat, dan biaya. Kemudian pertemuan menyepakati bahwa Kongres Pemuda Kedua akan diselenggarakan pada 27-28 Oktober 1928 di tiga lokasi, yaitu gedung Katholieke Jongenlingen Bond, Oost Java Bioscoop, dan Indonesische Clubgebouw (Rumah Indekos, Kramat No. 106). Keseluruhan biaya akan ditanggung oleh organisasi-organisasi yang menghadiri kongres serta sumbangan sukarela. Selain itu, pertemuan juga menyepakati pembentukan kepanitiaan kongres dengan susunan sebagai berikut:

• Ketua: Sugondo Djojopuspito (PPPI)
• Wakil Ketua: R.M. Djoko Marsaid (Jong Java)
• Sekretaris: Muhammad Yamin (Jong Sumatranen Bond)
• Bendahara: Amir Sjarifudin (Jong Bataks Bond)
• Pembantu I: Johan Mahmud Tjaja (Jong Islamieten Bond)
• Pembantu II: R. Katja Soengkana (Pemoeda Indonesia)
• Pembantu III: R.C.L. Sendoek (Jong Celebes)
• Pembantu IV: Johannes Leimena (Jong Ambon)
• Pembantu V: Mohammad Rochjani Su’ud (Pemoeda Kaoem Betawi)